AutoResearch at Production Scale: Failure Modes and a Multi-Agent Framework
生产级 AutoResearch：失败模式与多智能体框架
🧭 Agent 多智体协作优化 ★ 深度解读
Amazon
220+ 生产级 AutoResearch 实验揭示五类失败模式；三原则多智能体框架带来 1.82× Recall@6 与 5.8× 覆盖率提升。
📌 工作参考价值（4 点）
- 高成本迭代必须加 pre-execution semantic gate：在推荐 embedding 训练或生成式检索调优中，一个 DDP/OOM bug 可能浪费 10+ GPU 小时；用 Code Fixer 单次重写而非自然语言 review，可避免两阶段 authoring 循环中的 JSON 解析失败和重复违规修改。迭代便宜时用 post-execution revert 即可，不必上重门禁。
- 三 agent 角色拆分可复用：Researcher 用便宜模型高频生成完整脚本，Criticizer 和 Code Fixer 用更强模型低频高杠杆；Criticizer 只在停滞窗口触发（相对增益阈值 8%，窗口 5 iterations），避免每轮干预产生噪声，且 directive 需在下一个 Keep 后清空，防止累积权威。
- 持久化记忆不能只靠 program.md：即使明确写入“100 epochs 会导致过拟合”，agent 仍会重测 6 次；需要 durable cross-job storage + 自动 revert + 数据管道统计信息一起暴露给 agent，才能减少 memory decay 和 metric gaming。
- 度量固定是未解问题：agent 会钻 metric 空子（增大 codebook 提高 coherence 但可读性变差），多指标 + usability context + 人工 QA 只能缓解；在电商/广告场景里，离线代理指标提升必须经过线上 A/B 验证，且 agent 无能力质疑评估设计，人要把精力放在 metric 正确性和战略 pivot 上。